"""
User-Agent 用户代理 使用的是什么身份进行访
如果想伪装策划给你一个真实的用户
就需要在发送请求requests。get方法的参数里加上用户代理
模拟真实用户的操作

如何获取useragent呢 ?
爬一个 卡宴主页的数据保存为html
"""
import requests
# 确认卡宴主页的url
url="https://t18.qicheshenghuo.com.cn/index/bs?dataId=1529049597398650885&dataType=KEYWORD&endpoint=PC&activityId=118178&manufacturerId=44&areaCode=440000&adName=BAIDU_SEARCH-PC-440000-2022&campaignId=1427943834521874434&adgroupId=1529049589832126466&bd_vid=10733592233852778808"
# # 向卡宴主页发送get请求  返回了响应
# response=requests.get(url=url,verify=False)   # verify关键字参数，在请求的时候不验证网站的ca证书 因为有的网站没有ca证书
#
# hee=response.request.headers
# print(hee)
# # # 将数据进行utf-8方式解码  返回给data变量
# data=response.content.decode()
# # # 文件操作
# with open("卡宴.html","w")as file1:
#     file1.write(data)
# 由于我们是以'python-requests/2.26.0' 第三方库 被网页识别为了机器人  所以不返回给我们真实的数据
# 所以被反扒了
# 初步解决方法  手动设置 user-agent
# 如何手动设置
"""
以字典形式进行设置 以user-agent为键 以浏览器的useragent为值      
浏览器拿useragent步骤 
找到需要爬取的数据所对应的数据包》找到headers标签 拉到最下面 找到 User-Agen进行复制 
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36

不仅仅只有浏览器能发送http请求  
只要是能构建表单发送http请求的都可以完成网络数据浏览  


# """
# 确认卡宴页面url
urlfds="https://t18.qicheshenghuo.com.cn/index/bs?dataId=1529049597398650885&dataType=KEYWORD&endpoint=PC&activityId=118178&manufacturerId=44&areaCode=440000&adName=BAIDU_SEARCH-PC-440000-2022&campaignId=1427943834521874434&adgroupId=1529049589832126466&bd_vid=10733592233852778808"
# 构建请求头
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
}
# 向卡宴主页发送get请求  返回了响应   在get方法里面进行添加
response=requests.get(url=urlfds,verify=False,headers=headers)

hee=response.request.headers

print(hee)

# 将数据进行utf-8方式解码  返回给data变量
data=response.content.decode()
# 文件操作
with open("卡宴2.html","w",encoding="utf-8")as file1:
    file1.write(data)
#
#










